iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 280 瀏覽

鐵人賽 AI/ ML & Data DAY 17

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 17 篇

技術 [Day 17]🧐如何利用LLM生成High Quality的增強版訓練數據集？

如何產生一個優質的 dataset 來增強訓練？生成優質的資料集需要考慮哪些事情呢？昨天我們介紹這個比賽的時候，有提到主辦方只給我們少量的訓練資料(20...

壓縮甜 ‧ 2024-10-01

1 Like 0 留言 248 瀏覽

鐵人賽 AI/ ML & Data DAY 10

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 10 篇

技術 [Day 10]Head Mask Pooling 池化大法好🪄🦄-解析第二三名的優勝作法：Head Mask Pooling 與 Multi-Task Learning

在看了一堆解法分享後，看到第二名的做法真的會眼前一亮🤩，而且是絕對可以低成本偷學帶到其他賽題繼續使用的！我們直接切入正題： 🥈 2nd Solution 第二...

壓縮甜 ‧ 2024-09-24

1 Like 0 留言 222 瀏覽

鐵人賽 AI/ ML & Data DAY 7

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 7 篇

技術 [Day 7]別著急訓練模型，挖掘好用的 feature 是成功的一半: EDA 實戰演練（中）- 從 Linguistic 和 Semantic 的角度計算文本相似度

EDA (進階版) 🤔 摘要寫得和原文越像，老師給的分數會越高嗎？直覺上來說，摘要和原文一點都不像，應該會超低分，代表根本沒有在根據原文寫作；但如果和原文一字...

壓縮甜 ‧ 2024-09-21

1 Like 0 留言 247 瀏覽

鐵人賽 AI/ ML & Data DAY 6

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 6 篇

技術 [Day 6] 別著急訓練模型，挖掘好用的 feature 是成功的一半: EDA 實戰演練（上）

在一個充滿活力的校園里，安娜老師是深受學生喜愛的教師。但是這幾年她發現，在這個信息爆炸的時代，擁有良好的摘要能力變得尤為重要。然而，許多學生在總結時往往抓不住...

壓縮甜 ‧ 2024-09-20

2 Like 0 留言 429 瀏覽

鐵人賽 AI/ ML & Data DAY 5

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 5 篇

技術 [Day 5] Kaggle 自動作文評分競賽（四）- 前四名優勝作法解析：彼此制衡的兩階段式微調、發揮奇效的 pseudo-labeling、集成多種 BERT Pooling 與最優化策略

前情提要昨天我們從主題建模、prompt name 與 score 的分佈等，更全面地探勘本次賽題的訓練資料集；也透過設計一些專用於這種 code compe...

壓縮甜 ‧ 2024-09-19

0 Like 0 留言 435 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 4

老闆，外帶一份 AWS Certified Data Engineer 系列第 4 篇

技術【Day 4】 (Big) Data Analytics 資料分析的範疇

資料分析/大數據分析的定義是「Analytics」？還是「Analysis」？在慣用中文思考的情況下，兩者都被稱為分析，是無法用中文來區分兩者差異。然而...

二坪山小弱砲 ‧ 2024-09-18

1 Like 0 留言 470 瀏覽

鐵人賽 AI/ ML & Data DAY 4

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 4 篇

技術 [Day 4] 探究 Train vs. Test Set 的真實差距:善用 Topic Modeling, Cross / Adversarial Validation等實用技巧！

前情提要在前一天的內容中，我們透過設計提交 Simple Baseline 和 Retrieval-based Method 來間接地確認 hidden te...

壓縮甜 ‧ 2024-09-18

1 Like 0 留言 387 瀏覽

鐵人賽 AI/ ML & Data DAY 3

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 3 篇

技術 [Day 3] Kaggle 自動作文評分競賽（二）- 比賽用的隱藏測試資料也和訓練資料一樣，有同樣的來源嗎？

前情提要昨天通過一番資料分析，確認主辦方提供的 17,307 筆 training data 中，有 12,873 筆完全一模一樣的 essay 內容出現在...

壓縮甜 ‧ 2024-09-17

1 Like 0 留言 542 瀏覽

鐵人賽 AI/ ML & Data DAY 2

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 2 篇

技術 [Day 2] Kaggle 自動作文評分競賽（一）- 淺談數據洩露與內容匹配：如何確認訓練數據中的潛在泄漏？

在一個平凡的周末午後，高中老師安娜埋首於堆積如山的學生作文中。每一篇作文都承載著學生們的心血與努力，但三個班每人每週一篇長文寫作，安娜的批改速度總是趕不上學生...

壓縮甜 ‧ 2024-09-16

1 Like 0 留言 441 瀏覽

鐵人賽 AI/ ML & Data DAY 1

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 1 篇

技術 [Day 1] 緣起與文章主題介紹

緣起如果你剛踏入數據科學的世界，那你一定聽說過 Kaggle 這個神奇的地方。Kaggle 是一個全球最大的數據科學競賽平台，匯聚了來自世界各地的數據愛好者和...

壓縮甜 ‧ 2024-09-15

0 Like 0 留言 366 瀏覽

鐵人賽自我挑戰組 DAY 30

Pandas｜資料前處理工具系列第 30 篇

技術 Day 30｜Pandas 完賽！

嗨！大家好！我是Eva！一位正努力跨進資料科學領域的女子！沒想到寫著寫著 30 天的日子就這樣過去了，能完成挑戰實在太感動了 😭 ■ 系列回顧在這 30 天挑...

Eva ‧ 2023-10-15

0 Like 0 留言 653 瀏覽

技術【Day 03】國際很夯的 Certified Analytics Professional (CAP) 數據分析師證照～

INFORMS（國際運籌學和管理科學協會）專業數據分析認證引用自Certified Analytics Professional 業務理解（Busin...

sharonchen ‧ 2023-10-16

0 Like 1 留言 610 瀏覽

技術【Day 02】企業數位化轉型 CDA數據分析師 (Level I/II/III)

企業數位化轉型標志～數位化人才的身份認證數位化人才認證標準——CDA（Certified Data Analyst）“CDA數據分析師”，是在數位經濟大背景和...

sharonchen ‧ 2023-10-14

0 Like 0 留言 1857 瀏覽

技術【Day 01】經濟部112 年度營運智慧分析師能力鑑定 (初級)

前言 10年前學校教的「資料探勘」再到現在的「數據分析」已經慢慢朝向按照產業專精甚至最終「數據科學 (人工智慧)」～其實總的來說對於數據的敏...

sharonchen ‧ 2023-10-14

0 Like 0 留言 300 瀏覽

鐵人賽自我挑戰組 DAY 29

Pandas｜資料前處理工具系列第 29 篇

技術 Day 29｜Interview Query - Customer Analysis

■ 題目｜Interview Query - Customer Analysis You’re given a dataframe containing sal...

Eva ‧ 2023-10-14

1 Like 1 留言 334 瀏覽

鐵人賽 AI & Data DAY 30

資料分析的硬體以及軟體學習以及成長心得系列第 30 篇

技術機器學習挑戰 - Day 9 (完) + 完賽感想

續上一篇機器學習挑戰 - Day 8 我想使用最後一篇文章來回顧我在第0天的原始計劃以及實際所做的事情。回報時間框架：日內交易（每日）- 我主要關注每日...

Papii ‧ 2023-10-15 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 295 瀏覽

鐵人賽自我挑戰組 DAY 28

Pandas｜資料前處理工具系列第 28 篇

技術 Day 28｜Interview Query - Complete Addresses

■ 題目｜Interview Query - Complete Addresses You’re given two dataframes. One conta...

Eva ‧ 2023-10-13

0 Like 0 留言 300 瀏覽

鐵人賽自我挑戰組 DAY 27

Pandas｜資料前處理工具系列第 27 篇

技術 Day 27｜Interview Query - Impute Median

■ 題目｜Interview Query - Impute Median You’re given a dataframe df_cheeses contain...

Eva ‧ 2023-10-12

0 Like 0 留言 277 瀏覽

鐵人賽自我挑戰組 DAY 26

Pandas｜資料前處理工具系列第 26 篇

技術 Day 26｜Interview Query - Rain on Rainy Days

■ 題目｜Interview Query - Rain on Rainy Days You’re given a dataframe df_rain conta...

Eva ‧ 2023-10-11

0 Like 0 留言 392 瀏覽

鐵人賽自我挑戰組 DAY 25

Pandas｜資料前處理工具系列第 25 篇

技術 Day 25｜Interview Query - Over 100 Dollars

■ 題目｜Interview Query - Over 100 Dollars You’re given two dataframes: transaction...

Eva ‧ 2023-10-10

0 Like 0 留言 372 瀏覽

鐵人賽自我挑戰組 DAY 24

Pandas｜資料前處理工具系列第 24 篇

技術 Day 24｜Interview Query - Good Grades and Favorite Color

　　先前，我們大約花了三週的時間學習 Pandas 的操作，是時候好好驗收學習成果了！從今天開始，我將每天和大家分享一道題目，親自撰寫解法，並提出我的解題思維，...

Eva ‧ 2023-10-09

0 Like 0 留言 464 瀏覽

鐵人賽自我挑戰組 DAY 23

Pandas｜資料前處理工具系列第 23 篇

技術 Day 23｜資料視覺化 - Seaborn

　　Python 中，除了 Matplotlib 適合用於資料視覺化之外，Seaborn 也是一個好用的函式庫，兩者經常會放在一起介紹或者使用，今天就和大家聊聊...

Eva ‧ 2023-10-08

0 Like 0 留言 599 瀏覽

鐵人賽自我挑戰組 DAY 22

Pandas｜資料前處理工具系列第 22 篇

技術 Day 22｜資料視覺化 - Matplotlib

　　Pandas 是 Python 生態系中，適合用來做資料分析或機器學習的套件，上一篇文章介紹 Pandas 中對新手相當友善的繪圖函數 plot( ) ，讓...

Eva ‧ 2023-10-07

0 Like 0 留言 938 瀏覽

鐵人賽 AI & Data DAY 22

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 22 篇

技術『Day22』Operator 介紹

在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...

無聊工程師 bored_engineer ‧ 2023-10-07

0 Like 0 留言 592 瀏覽

鐵人賽自我挑戰組 DAY 21

Pandas｜資料前處理工具系列第 21 篇

技術 Day 21｜Pandas 一招帶你快速製圖

　　簡報時，我們常會聽到「用數字說話」這句話，面對主管、同事真的是講出每個數字就能讓聆聽者理解嗎？錯！大部分的人單看數字都容易眼花撩亂，想讓對方理解你的報告，圖...

Eva ‧ 2023-10-06

0 Like 0 留言 585 瀏覽

鐵人賽自我挑戰組 DAY 20

Pandas｜資料前處理工具系列第 20 篇

技術 Day 20｜在 VS Code 印出漂亮的 DataFrame

　　VS Code 的使用者應該有發現 Pandas 的輸出結果有時並不是那麼好閱讀，對於一個有版面強迫症的我來說，曾經因為 DataFrame 歪掉的格式十分...

Eva ‧ 2023-10-05

0 Like 0 留言 559 瀏覽

鐵人賽自我挑戰組 DAY 19

Pandas｜資料前處理工具系列第 19 篇

技術 Day 19｜用 Pandas 快速完成樞紐分析

　　Excel 本身提供方便的樞紐分析，但你有想過用程式該如何撰寫嗎？今天就來分享一下 Pandas 中的樞紐分析：pivot_table( ) 一起透過交叉分...

Eva ‧ 2023-10-04

0 Like 0 留言 310 瀏覽

鐵人賽自我挑戰組 DAY 18

Pandas｜資料前處理工具系列第 18 篇

技術 Day 18｜資料的分組和聚合

　　在大型數據當中，有時我們會需要透過群組的方式概括整體資料，除了用以觀察之外，也能進一步深入處理，本文將分享如何使用資料的分組和聚合操作，內容包含：資料分...

Eva ‧ 2023-10-03

0 Like 0 留言 779 瀏覽

鐵人賽自我挑戰組 DAY 17

Pandas｜資料前處理工具系列第 17 篇

技術 Day 17｜資料合併的三種常用語法

　　在茫茫數據海當中，資料散布在各種不同的地方，可能是資料庫、網站、文件等，為了要有效統一資料集，方便後續的分析和報告，資料合併的操作是不可不學的，以下將以案例...

Eva ‧ 2023-10-02

0 Like 0 留言 248 瀏覽

鐵人賽自我挑戰組 DAY 16

Pandas｜資料前處理工具系列第 16 篇

技術 Day 16｜自定義轉換必學的apply()函數

　　在昨天標籤編碼法（Label Encoding）的舉例中，我們可以透過 sklearn 中的函數 LabelEncoder 將類別型態轉為數值型態，那大家是...

Eva ‧ 2023-10-01